Kim Gu sinh ngày 11 tháng 7 năm 1876 ở Teot-gol (텃골), Baek Un Bang (백운방), Haeju (해주; 海州), tỉnh Hwanghae Nam, Triều Tiên, là con trai duy nhất của người nông dân nghèo Kim Soon Young (김순영) và vợ là Kwak Nack Won (곽낙원). Tên lúc sinh của ông là Kim Changahm (김창암; 金昌巖). Khi ông lên 9 tuổi, ông bắt đầu học chữ Hán cổ như Tư Trị Thông Giám (자치통감; 資治通鑒), và Đại Học (대학; 大學) tại các seodang địa phương.

Lúc lên 16 tuổi, Kim đã tham dự Gwageo (thi cử triều đình) của nhà Triều Tiên nhưng đã thi rớt. Sau đó, ông đã gia nhập phong trào Đông Học (Donghak (동학; 東學) năm 1893 và đổi tên thành Kim Chang Soo (김창수; 金昌洙).